Hxpress Mail No. l-;V347()1291()US 



PA'l'HNT 



IN THE UNITED STATES PATENT AND TRADEMARK OFFICE 



Applicants 
Application No. 
Confirmation No, 

Filed 
For 



Jean-Louis Massieu ct al. 

09/747,314 

1282 

December 22, 2000 

OPTOELECTRONIC DEVICE AND PROCESS FOR ACQUIRING 
SYMBOLS, SUCH AS BAR CODES, USING A TWO- 
DIMENSIONAL SENSOR 

Examiner : Jamara A. Franklin 

Art Unit : 2876 

Docket No. : 480062.730 



Commissioner for Patents 

P.O. Box 1450 

Alexandria, VA 22313-1450 



nprT ARATTON UNDER 37 C.F.R. 1.131 



Commissioner for Patents: 



1 



I, Jean-Louis Massieu, declare as follows: 



2. I am a joint mventor of the invention described and claimed in U .S. Patent 
Application No. 09/747,314, filed December 22, 2000, and claiming priority from French patent 
application 99.16421 filed December 23, 1999. 

3. This declaration establishes conception in France prior to November 2, 
1999, the U.S. filing date of U.S. Patent No. 6,512,218, issued to Canini et al., and diligence 
from that fime through constructive reduction to pracfice by the filing of French patent 
applicafion 99.16421 on December 23, 1999, from which U.S. Patent Application No. 
09/747,314, filed December 22, 2000, claims priority. 

4. All of the work described within this declaration and in the attached 
Exhibits was performed in France, a World Trade Organization (WTO) member country. 

5. All of the work described within this declaration and attached Exhibits 
was performed by myself, or under my direction on behalf of Intcrmcc STC. 



6. 1 described the invention as currently presented in claims 1-33 and 
provided a written disclosure document to Camille Sailhan, an agent of the l->ench patent finn 
Cabinet Barre LaForgue et Associes (hereinafter Barre LaForgue). prior to November 2, 1999. 
A redacted copy of the disclosure document is attached hereto as Exhibit A, and an English 
language translation of the disclosure document is attached hereto as Exhibit B. 

7. 1 received a letter dated before November 2, 1999, from Mr. Sailhan 
acknowledging the receipt of the disclosure and providing an estimate for the cost of preparing 
and filing a patent application in the French Patent Office based on the disclosure. A redacted 

copy of the letter is attached hereto as Exhibit C. 

8. I provided instructions to prepare a patent application to Mr. Lassiaille ot 

Barre LaForgue before November 2, 1999. 

9. [ met with Mr. Lassiaille to discuss the invention before November 2, 

1999. 

10. I received a draft of the patent application, forwarded to me by 

Mr. Lassiaille on November 5, 1999. 

11. I met with Mr. Lassiaille to discuss the draft on November 26, 1 999. 

12. 1 received a revised draft of the patent application on December 13, 1999, 

as indicated by the letter attached hereto as Exhibit D. 

13. I discussed the revised draft with Mr. Lassiaille between December 13, 
1999, and December 22, 1999. In response 1 received a ftirther revised draft of the patent 
application as indicated by the letter attached hereto as Exhibit E. 

1 4. The invention was diligently and constructively reduced to practice by at 
least the following acts: providing disclosure materials to Barre LaForgue. requesting 
preparation of a French patent application, preparing a draft patent application, forwarding the 
draft patent application to the named inventors for review, reviewing the draft patent 
application, and on December 23, 1999, filing a patent application in the French Patent Office 
from which the present U.S. patent application claims priority under 35 U.S.C. 1 19. 

15. 1 hereby declare that all statements made herein of my own knowledge 
are true and that all statements made on information and belief are believed to be true; and 
further that these statements were made with the knowledge that willful false statements and the 
like so made are punishable by fine or imprisonment, or both, under Section 1001 of Title 18 of 



the United States Code and that such willful false statements may jeopardize the validity of the 
application or any patent issued thereon. 



Date 



Jean-Loui 



is MasafoL 



701 Fifth Avenue, Suite 6300 
Seattle, Washington 98104-7092 
Phone: (206)622-4900 
Fax: (206)682-603 
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Pixels auto adaptatifs en dimension pour Tacquisition de codes a barres a Taide de capteur 
CCD ou CMOS 



Soit un lecteur de codes a barres CCD ou CMOS constitue d'une optique, d'une lignc 
photosensible situee dans ie plan image de 1 'optique, d'un plan objet. 
Le code a barre est typiquement place dans le plan objet de telle maniere qu'il soit intercepte 
par r image conjuguee de la ligne photo sensible. 

L'axe optique est defmi par la droite passant par le centre de la ligne photo sensible et le 
centre de la pupiUe de I'optique . Le plan optique horizontal du lecteur inclut Faxe optique et 
la hgne photosensible, Le plan vertical est normal au plan optique et inclut l'axe optique. 

Les lecteurs de codes a bane a capteur CCD ou CMOS presentent sur les lecteurs a 
balayages a LASER Tavantage de n'avoir aucune pieces mobiles, ce qui les rend robuste, 
rapide et economiques, Mais leur performance en profondeur de champ de lecture est 
limitee par rapport a celle des lecteurs a balayage Laser. 

La profondeur de champ de lecture pour une resolution spatiale donnee est communement 
definie par la difference entre les distances minimales et maximales pour lesquelles la FTM 
(fonction de transfert de modulation ) de 1 'optique est superieure a une certaine valeur. 
Cette valeur liec au dispositif de traitement de signal et a la nature de codes a barres peut 
atteindre 15 % dans les meilleurs cas. 

Le limite theorique de la FTM d'une optique, et done la profondeur de champ des lecteurs 
de codes a barre est due a la nature ondulatoire de la lumiere et au phenomene de diffraction 
qui en decoule qd la pupiUe devient petite devant la focale. II est possible de realiser des 
optiques de lecteurs de codes a barres a un cout acceptable, en verre ou en plastique, ayant 
une optique fermee aux limites de la diffraction de fa^on a obtenir une profondeur de champ 
maximale. Cependant, la quantite de lumiere a apporter sur la scene pour avoir un rapport ^ 
signal sur bruit suffisant sur Fimage du fait de la petitesse de la pupiUe de Fobjectif peut etre 
redibitoirc. Les contraintes sur le dispositif d' illumination et sur la consommation en 
courant interdisent en realite le dimensionnement de Foptique aux limites de la diffraction. 



Plusieurs solutions palliatives ont ctes mises en oeuvre pour compenser cet handicap. 

• On peut utiliser une pupille rectangulaire mettant a profit Ic caractcrc mono-dimensionncl 
des codes a barres. La pupille est dimensionne aux limites de la diffraction dans le plan 
horizontal (plan utile interccptant le code a barres dans sa longueur) et agrandie dans le 
sens vertical. L'angle solide vu du plan objet sous tendu par la pupille est ainsi plus 
important qu ' avec une pupille symetrique de revolution. La quantite de limiere 
collectee sur Fimage est plus importante sans augmenter la dimension de la pupille dans 
le plan utile, et done sans sacnfier la profondeur de champ. 

• On peut utiliser un objectif anannorphique produisant un grandissement different scion 
Faxe vertical ou horizontal. La aussi, la quantite de lumiere sur le capteur est augmentee 
sans modifier la profondeur de champ dans le plan horizontal. 
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. On neut utilise, ucs pixels rectangulaires dont la dimension verticale est plus inripomnte 
que la dimension honzontale. La resolution dans Ic plan horizontal est consen/e, celle 
dans le dans le plan vertical non utile est reduite, mais la quantile de lumiere mtcgree par 
le capteur est augmentc. 

Tous ces moycns palliatiis presentent le defaut d'etre sensible a la rotation du Iccteur scion 
I'axe optique. 



Solution proposee : 

La solution proposee consiste en I'utilisation d'un capteur dont la hauteur des pixels 
est programmable. II est possible en effet de determiner la resolution spatiale des codes a 
barres par une premiere acquisition avec le capteur en configuration pixel carre : Supposons 
que le code soit a la limite de la profondeur de champ ou la quantite de lumiere est comptee. 
Le rapport signal sur bruit sera insuffisant pour permettre un decodage complet du code a 
barres Cependant on peut supposer que la frequence spatiale du code peut etre approchee. 
On peut connaitre ainsi le nombre de pixel conjugue inscrits dans une barre ou un espace et 
deduire la hauteur maximale des pixels possible sans affecter la FTM en cas de rotation du 

lecteur.^^ soffit repeter une nouvelle acquisition avec une hauteur taille de pixel adequate 
pour disposer d'une image avec un meiUeur rapport sur bruit, sans avoir sacrifie sa FTM. 

On pourra egalement dans la loi d'adaptation de la dimension des pixels inclure la FTM du 
code. En effet, un code pourvu d'une bonne FTM car place dans le plan de focahsation 
pourra accepter une certaine attenuation, contrairement a un code situe aux limite de la 
profondeur de champ ou la FTM de ses barres ou espaces les plus fines sont deja a la limite 
du seuil de detectabilite. 

On peut aussi inclure le contrate du code dans le processus de decision. 

Un des moyens de realisation consiste en un capteur dote de plusieurs lignes superposees dc 
pixels carrcs, dont les sorties sont ajoutees par un additionneur multiplexable. 
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Auto-adaptivc pixels in dimension tor the acquisition of bar codes using sensor CCD or CMOS 

Thai is to say a bar code scanner CCD or CMOS made up of a lens, a photosensitive line 
located in the image plane of the lens, of the object plane. 

The bar code is typically placed in the object plane in such manner that it is intercepted by the 
combined image of the sensitive photo line. The optical axis is defined by the line passing by 
the center of the sensitive photo line and the center of the aperture of the lens. The horizontal 
optical plane of the reader includes the optical axis and the photosensitive line. The vertical 
plane is normal to the optical plane and includes the optical axis. 

The bar code scanners with sensor CCD or CMOS have the advantage over the readers with a 
sweeping LASER of not having any moving parts, which makes them robust, fast and 
economic. However, their depth-of-field reading performance is limited compared to that of the 
readers to laser scanning. 

The depth-of-field of reading for a given space resolution is commonly defmed by the 
difference between the minimal and maximum distances for which the MTF (Modulation 
Transfer Function) of L ' optical is higher than a certain value. This value related on the device 
of signal processing and the nature of bar codes can reach 15 % in the best cases. 

The theoretical limit of the MTF of a lens, and thus the depth of field of the bar code scarmers 
are due to the wave nature of the light and with the phenomenon of diffraction which results 
fi-om this. The aperture becomes small in front of the focal distance. It is possible to carry out 
optics of bar code scanners at an acceptable cost, out of glass or plastic, having an optics closed 
in extreme cases of diffraction in order to obtain a maximum depth of field. However, the 
quantity of light to be brought on the scene to have a signal to noise ratio on sufficient noise on 
the image because of the smallness of the aperture of the objective can be debilitating. The 
constraints on the device of illumination and current consumption prohibit actually the 
dimensioning of optics in extreme cases of diffraction. 

Several possible solutions have been implemented to compensate for this handicap. 

- One can use a rectangular aperture making use of the tall and narrow character bar codes. The 
aperture is dimensioned in the extreme cases of diffraction in the horizontal plane (plane useful 
for intercepting the bar code in its length) and increased in the vertical direction. The solid 
angle seen in the object plane by the aperture is thus more useful than with a symmetrical 
aperture. The quantity of light collected on the image is greater without increasing the 
dimension of the aperture in the horizontal direction, and thus without sacrificing the depth of 
field. 

- One can use an anarmorphic objective producing a different growth according to the vertical 
or horizontal axis. There too, the quantity of light on the sensor is increased without modifying 
the depth of field in the horizontal plane, 

- One can use rectangular pixels whose vertical dimension is more important than horizontal 
dimension. The resolution in the horizontal plane is preserv^ed, but the resolution in the non- 
useful vertical plan is reduced, but the quantity of light integrated by the sensor is increased. 



All these solutions have the disadvantage of heing sensitive to the rotation of the reader 
according to the optical axis. 



Solution suggested: 

The suggested solution consists of the use of a sensor where the height of die pixels is 
programmable. It is possible indeed to determine the space resolution of the bar codes by the 
first acquisition with the sensor in a square pixel configuration: Let us suppose that the code is 
in the limit of the depth of field where the quantity of light is low. The signal to noise ratio will 
be insufficient to allow a complete decoding of the bar code. However one can suppose diat the 
space frequency of the code can be approximated. One can know the number of combined 
pixels registered in a bar or a space, and deduce the maximum height from the pixels without 
affecting the MTF in the event of rotation of the reader. It is enough to obtain a new acquisition 
with an adequate pixel height in order to have an image with a better signal to noise ration, 
without having to sacrifice the MTF. 

One will be able to vary the dimension of the pixels to optimize the MTF of the code. Indeed, a 
code imaged with a good MTF in the focus plane will be able to sustain considerable 
attenuation, contrary to a code located at the limit of the depth of field or the MTF of its bars or 
the spaces which is at the threshold of detection. One can also include the previous code in the 
decision-making process. 

One of the means of realization consists of a sensor equipped with several superimposed lines 
of square pixels, whose output are added by an adder multiplexer. 
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A inattention de Monsieur MASSIEU 



Monsieur, 

Nous faisons suite a notre reunion de travail d^imBlBI ^^^^ 
note de votre intention de proteger en FRANCE votre invention referencee "Pixels 
adaptatifs" relative a un lecteur de codes a barres dote d'un capteur dont la hauteur des 
pixels est programmable. 



Nous vous informons que le cout hors TVA a prevoir pour la preparation et le depot de 
cette demande de brevet en FRANCE (ce cout comprenant la redaction du texte et des 
revendications, Texecution des dessins reglementaires, les formalites de d6p6t, les 
redevances de depot et de revendications supplementaires, y compris le paiement de la 
redevance de recherche dont le montant est actuellement de 4 200 F) sera de 30 000 F. 

Nous avons bien note que le depot serait a effectuer au nom de INTERMEC SCANNER 
TECHNOLOGY CENTER. Vous trouverez ci-joint un pouvoir a nous retoumer dument 
complete et signe. 



Par ailleurs, nous joignons a la presente une fiche de designation d'mventeurs egaleraent 
a nous retoumer dument completee et signee. 



95, rue des amidonnief^ 31000 Toulouse FRANCE. Tel.. 05 61 21 08 67. fax: 05 61 22 79 23. 
SA au capita! de 500 000 f - RC 302210067 b Toulouse - Banqoe Populafre St-Michei n^^ 12-21-41038-S CCP n° 325434z Toulouse. 



Philippe BARRE Conseil er Propfi^l^ Induitnelk, Ing^n^eu'■ de [ " 
I'EcoJe Centnie de Pam. Diploma d'^turies intemattofui« de id r 
propfieti iDdustriellf . 

Francjoise LffORGUE. Conseil en Proprieli IndusfrieJle. LKrenci^ 
es lettres, M^lTre en droit prive. Dipl6fT>ee (le !'lns»iti;1 d'^tudtt 
polttiqutfs 



,3 de nee profession, nous nous penneUons de ^^ndrc 
Conformement aux usages de notre p 

p.^enteno.enotedep.ovisionco.espondante. 

• decroireMonsieur..nossent«nentslesmeiUeurs. 
Mousvouspnonsdecroire,M 



a la 



CamUle SAILHAK 
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HTVA 

TVA (20,60 %) 

Nous vous remercions de bien vouloir nous couvrir de la somme de : TTC 
k dtre de provision pour Topdratioa suivante : 



20 000,00 FF 
4 1 20,00 FF 



24 120,00 FF 



Preparation et depot d'une demande de^ 
adaptatifs" 



iC • 

out (Ng 

lE.P. I 



Depart rrtoN 



(Contre-valeur du total 



[OBSEi 



}N3 : 



ros: 



^07) 



Cette somme sera d6duite du montant de la note d^honoraires 6tablie a la cloture du dossier 

au oout forfaitair e d e repar a tion . 

Selon les usages de notre profession, le reglement de la provision conditionne rex6cution 
de la prestation. 



95, rue des Amidonniefs 31000 Touiouse FRANCE. Td. 05 61 21 06 67. Fax 05 61 22 79 23 

SA au capital de 500 000 F - RC 30221 0067 b Toulouse - d^dentification IVA : FR 22302210067 

Banque Populaire St-Michel n- 1 2-2M1 038-9 - CCP n" 3254 J4z Toulouse 
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Adresse client 

INTERMEC STC 

Buroparc 2 - Voie 2 - Rue de la D6couverte 

Innopole - BP 1 87 

31676 LABEGECedex 

Adresse de facturation 
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'eriocuteur : Jean-Louis MASSIEU 
oode analytlque : Brevets 



Designation 
Votredevisr6f7UB1318 - Ch. Pr. 
Demande de brevet en France 
Pixels adaptatifs" 



TOTAL H.T. 
TVA 20.6 % 
TOTAL T.T.C. 
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001 



P.U. BRUT 
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REMISE °/c 



P.U. NET 
30 000,00 



T OTAL H.T. 
30 000,00 



30 000,00 
6180.00 
36 180,00 
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De / From : Chnstian LASSIAILLE 

A / To : INTERMEC 

Monsieur PUECH et Monsieur MASSIEU 



CABINET 
BARRE LAFORGUE & associ6s 
95 rue des Amidonniers 
31000 TOULOUSE 
FRANCE 



Fax : 05 61 22 79 23 
T6I ; 05* 61 21 08 67 
De Tetranger, composer (33) 5 
From abroad, please dial (33) 5 
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V/ref . / Y/ref. : 



N'^fax 



05 61 39 20 00 



Nombre de pages (y compris la 
presente) : 42 

Number of pages (including cover 
sheet) : 



Objet / Re : Dennande de brevet en FRANCE "Pixels adaptatifs' 



^information contenue dans cotte tefecopie est strictement confidentielle et resen/^e 3u 
destinaliiire design^ a-dessus. En cas d'erreur du dcstinataire, mocci d'avoir Cobiigeance de nous 
cn avertir. 

CONFIDENTIAL INFORMATION SUBJECT TO ATTORNEY-CLIFNT PRIVILEGE AND WORK- 
PRODUCT DOCTRINE This facsimile contains confidential information wfisdi may also be 
privileged. Unless you are the addressee named above (or autf}onzed to receive for tfie 
addressee), you may not copy, use or distribute tfiis information. If you fiave received it in error, 
please advise BARRE LAFORGUE & ASSOCIATES immediately by telephone or fax and return it 
promptly by mail Our telephone number, fax number and address are indicated above. 



BARRE LAFORGUE 



Tran smissi on par t elecop ie 
± confirm ation c aurrier 



Toulouse, Ic 13 deccmbre 1999 




Q MtWwr dp U roinpjgnit NjIoxvjJt ^ Cntw\\s en Prapii^'c^ 

Indo'JrprMc □ Ar.r^^ pi^5 l*Ofln-r turop<Vn dci 9rcvftS U 
Agrtf pt^ I'Offirr jci Mjrpues ( ummur jui.nrf-j (Q'^MI) 
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Objet : Dde de brevet en France 

"Pixels adaptatifs" 

A r atten tion de Monsieur PUECH et de Monsieur MASSIEV 



Messieurs^ 

• Suite a notre recente reunion de travail, nous vous prions de bien vouloir trouver ci- 
joint un projet de texte (description, revendications et dessins) concemant votre 
invention refcrencee "Pixels adaptatifs". 

Merci de bien vouloir nous faire part de vos observations ou de votre accord sur ce 



En particulier, nous vous prions de bien vouloir nous indiquer les fomiules exactes a 
incorporer. 

En outre, n'est-il pas possible d'apporter des precisions supplemental res dans la 
description d^taillee ? 

E:n effet, nous vous rappelons que cctte description doit etrc sufTisamment claire et 
complete pour pennettre a rhomme du metier d'ex6cuter I'invention revendiquee 
dans toute sa generalite. N'est-il done pas possible d'apporter des indications 
complementaires, notamment sous forme d*exemples precis de logiqucs de 



texte. 



Ph^t^3p^ tiARRE. Cnrwc'l cn PfOpfl^ l^tdu^lnrMr, l/^iciJr (ic T 



95, rue dttiftiidonrtef^JtOOJ Toulouse FRANCE. Tel 05 61 21 Ofl &/. fjx ' C5 61 22 79 23. 
de SOO (XJO f k( ^02210067 b roula]<j Bjnqje PtipuJjire Si^M n" 12-21-41038 9 - CC? n° 3254.34^ Toulouse 



traitement A paitij dcs paiarnetrcs dc qualitc d'imagc ct/ou dcs informations issues 
du decodagc ? 

• Nous vous indiquons, par aiUcurs, qu'au vu de la gt^neraiisation apportec a ccttc 
invention, ct des elementii techniques que vous nous aver/ derniercment 
communiques, notre devis du 7 septembrc 1999 corrcspondant a la redaction et au 
depot de cettc deniandc de brevet doit etre augmente de 19 000 

Nous vous prions done de bien vouloir nous adresser un bon de commande 
complementaire d'un montant hors T.V.A, de 19 000 F. 

Dans cette attente. 

Nous vous prions dc croire. Messieurs, a nos sentiments les meilleurs. 



PJ.l 
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De / From : Chiistian LASSIAILLE 

A /To: Monsieur PUECH 
INTERMEC 



fax: 05 61 39 20 00 



CABINET 
BAKRE LAFORGUE & associes 
95 rue des Amidonniers 
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FRANCE 
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N/r6f. / 0/ref. : UB 1 3 1 8-BF8260 Cas 9 

CL/MCN 

V/ref. / Y/ref. : 



Nombre de pages 

(y compris la presente) : 

Number of pages (including cover sheet) : 



Qbjet / g^: Demande de brevet en FRANCE "Pixels adaptatifs" 



Monsieur, 



Nous vous prions de trouver sous ce pli un projet de texte et dessins en vue du d6p6t d'une demande 
de brevet en FRANCE concemant votre invention intitul6e : 



DISPOSITIF OPTOELECTRONIQUE ET PROCEDE D'ACQUISITION DE CODES A UAIDE 
D'UM CAPTEUR BIODIMENSIONNEL DE DIMENSION UTILE OPTIMISEE" 



Nous sommes dans Tattente de vos observations ou de votre accord sur ce projet afin de nous 
permettre de proccder aux formal ites de d6pot. 



Nous vous prions de croire. Monsieur, a nos sentiments les meilleurs 




L'information contenua dans cette t^h^copio est strict ement dbf^APer^elfe e/^serv^e au dosttnatair^ ddsignd a dossus. €n ens. 
d'erreurdu destinatairo. mera d'avoir I'obfigeancG do nous en ave/ 
CONFfDENTfAL INFORMATiON SUBJECT TO ATTORNEY-CLIENT PRMLEGE AND WOHK-RRODUCT DOCTRINE This 
facsimile contains confidential information which may also privileged. Unless you are the addressee namod above (or authonzod 
to rocotvo for the addressee), you may not copy, use or dtstribute this information If you have received it in error, pfoase ^idvist^ 
BARRE lAEORGUE 5 ASSOCIA TES immcdiatefy by telephone or fax and return it promptly by maii Our telephone number, fax 
number and address are indicated above. 



